AREX-2: Advancing Self-Improving Agents through Long-Horizon Reflective Tasks
AREX-2：通过长程反思任务推进自改进智能体
🧭 自改进 Agent · 长程反思训练 ★ 深度解读
Beijing Academy of Artificial Intelligence (BAAI)
用长程反思轨迹训练 27B agent，在 ML/编程及深度研究基准上逼近更大模型
📌 工作参考价值（4 点）
- 把“失败和恢复”写进训练轨迹，而不是只保留成功答案：在电商搜索/广告 agent 做 query 改写、创意优化时，可用离线仿真或历史日志构造多轮改进轨迹，保留负面反馈与后续修复步骤，loss 只施加在产生进步的动作上。
- 用 graded reward 替代 binary pass/fail：推荐/搜索中的 ranking 调优或选词不要只给“是否采纳”，可给连续指标（CTR、NDCG、转化率变化量），让每轮反馈都有信息量，延长有效迭代轮数。
- 把 operational knowledge 做成可注入的 skills：在基座模型不变的情况下，将商品类目规则、广告政策、用户意图词典等做成紧凑文档放进 context，能显著提升 agent 初始能力；实验中 base 从 28.8 到 68.2，说明业务知识注入比重新训练更便宜。
- 在线上 agentic 工作流中预留 round budget，并用 best-so-far 指标评估：例如对高价值广告计划或搜索 query，可给 agent 多次尝试与自评机会，按测试时消耗动态增加调用；但注意有效 horizon，超出 T* 后不再提升。